Ông tên thật là Ca Lê Hiến, sinh ngày 5 tháng 6 năm 1940 tại thị xã Bến Tre, nguyên quán ở xã Tân Thành Bình, huyện Mỏ Cày (nay thuộc huyện Mỏ Cày Bắc), tỉnh Bến Tre. Cha ông là giáo sư Ca Văn Thỉnh, một nhà giáo, nhà nghiên cứu văn học. Các thành viên trong gia đình ông cũng đều là những nhà giáo, nghệ sĩ được biết tới. Anh trai ông là nhạc sĩ Ca Lê Thuần, chị gái là nữ đạo diễn Ca Lê Hồng - nguyên hiệu trưởng trường Nghệ thuật Sân khấu II Thành phố Hồ Chí Minh, em trai là họa sĩ Ca Lê Thắng.